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(57) Abstract 

In order to evaluate a Markov chain describing a technical 
system, a subsequent probability vector containing values for 
probability distribution along the states of the Markov chain is 
determined starting with a first probability vector using an iterative 
method. 

(57) Zusammenfassung 

Zur Auswertung einer cin technisches System 
beschreibertden Markovkette wird ausgehend von einem crsten 
Warscheinlichkeitsvektor durch ein iteratives Verfahren ein 
nachster Wahrscheinlichkeitsvektor bestimmt, der Werte ftlr 
eine Wahrscheinlichkeitsverteilung entlang der Zustande der 
Markovkette enthait. 
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Beschreibung 

Verfahren und Anordnung zur Auswertung einer ein technisches 
System modellierenden Markovkette 

Die Erfindung betrifft ein Verfahren und eine Anordnung zur 
Auswertung einer ein technisches System modellierenden 
Markovkette . 



10 Eine Markovkette ist aus [1] bekannt, Dabei wird ausgegangen 
von einer endlichen Menge 

Q = {si, . . . , s N } (0-1) 



15 von Zustanden sowie einem diskreten stochastischen Prozefl 

iiber Q, also einer Folge von Zuf allsvariablen, die Werte aus 
der Zustandsmenge Q annehmen. Der Prozefr heifit kausal, falls 
die Verteilung der Variablen q t nur von vergangenen Zustanden 
abhangt, er heiftt stationar, wenn dabei die absolute Zeit t 

20 keine Rolle spielt, und er heifit einfach, falls 

ausschliefilich der vorangehende Zustand einen Einflufr ausiibt. 
Fur einen einfachen kausalen und stationaren Prozeft haben die 
Ubergangswahrscheinlichkeiten die Form 

25 P(q t | qi . . . q t -i) = p(q t l q t -l) (0-2) 

und konnen zu einer NxN-Parametermatrix 

- = [ ai J N xN aij = ^ qt = S 3 lq t-1 = s i) <°- 3 > 

30 

zusammengef aftt werden, fur deren Eintrage a^j die 
stochastischen Bedingungen 

aij > 0 und £j ai j = 1 

35 

gelten. Die Wahrscheinlichkeiten 
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N 



= P(qi = Si) , ]T »i = 1 



(0-4) 



i = l 



10 



15 



20 



25 



30 



fur die Einnahme eines Anf angszustandes werden in dem N- 
dimensionalen Vektor 71 vereinigt. Diskrete Prozesse dieser 

Art heiften Markovketten; ihr statistisches Verhalten ist 
vollstandig durch die Parameter 7t und A charakterisiert . 
Ferner heiftt eine Markovkette genau dann irreduzibel, wenn 
mit n:=dim(A) gilt: 



Anschaulich bedeutet dies, daft von jedem Zustand ausgehend 
jeder Zustand irgendwann wieder erreicht wird. 

Die Aufgabe der Erfindung besteht darin, eine insbesondere 
irreduzible Markovkette eines technischen Systems 
auszuwerten . 

Diese Aufgabe wird gemaft den Merkmalen der unabhangigen 
Patentanspriiche gelost . Weiterbildungen der Erfindung ergeben 
sich auch aus den abhangigen Anspriichen. 

Zur Losung der Aufgabe wird ein Verfahren zur Auswertung 
einer ein technisches System modellierenden Markovkette durch 
einen Rechner angegeben. Die Markovkette umfafit mehrere 
Zustande des technischen Systems, die Auswertung erfolgt 
gemaft DurchfOhrung folgender Schritte: 

a) ein erster Wahrscheinlichkeitsvektor enthalt 
Wahrscheinlichkeitswerte fur vorgegebenen Bedingungen 
in den Zustanden der Markovkette; 

b) ein zweiter Wahrscheinlichkeitsvektor wird bestimmt 




gemSft 
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10 



15 



20 



n 

n±+i = Zni * (i), 

k = 0 



wobei 

fliH-1 den zweiten Wahrscheinlichkeitsvektor, 
Fli den ersten Wahrscheinlichkeitsvektor, 

P die Markovkette in Matrizen-Notation, 

n eine vorgegebene natiirliche Zahl grofter 1 

bezeichnen; 

c} ein dritter Wahrscheinlichkeitsvektor wird bestimmt 
gemaft 



n i+i = E 



||n i+ i - pJ 



(2) , 



wobei 

11^+1 den dritten Wahrscheinlichkeitsvektor, 
j eine vorgegebene naturliche Zahl grofter 1, 

bezeichnen, 

d) der dritte Wahrscheinlichkeitsvektor wird zur 
Auswertung der Markovkette eingesetzt. 

Insbesondere ist es ein Vorteil, daft anhand der Auswertung 
25 der Markovkette eine stationare Wahrscheinlichkeitsverteilung 
des technischen Systems angegeben werden kann. 

Eine Weiterbildung besteht darin, daft der dritte 
Wahrscheinlichkeitsvektor gleich dem ersten 
30 Wahrscheinlichkeitsvektor gesetzt wird und die Schritte b) 
und c) iterativ durchgefuhrt werden, bis sich der zuletzt 
ergebende Wahrscheinlichkeitsvektor von dem vorletzten 
Wahrscheinlichkeitsvektor urn weniger als einen vorgegebenen 
Schwellwert unterscheiden . 
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In diesem Fall ist der stationare Wahrscheinlichkeitsvektor 
in durch den Schwellwert vorgebbarer Genauigkeit bestimmt. 

5 Anhand der Auswertung der Markovkette kann das technische 
System entworfen werden. Der Entwurf bezieht sich 
insbesondere auf die Neuerschaf f ung r z.B. Neukonstruktion 
oder Neubildung, des technischen Systems oder an eine 
Anpassung des technischen Systems nach Maftgabe des Entwurf s. 

10 

Auch ist es eine Weiterbildung, daft das Verfahren zu einer 
Leistungsmodellierung oder einer Zuverlassigkeitsmodellierung 
des technischen Systems eingesetzt wird. Dazu werden 
Bewertungsgroft en bestimmt/ die aus der stationaren 

15 Wahrscheinlichkeitsverteilung eine Aussage uber die Leistung 
bzw, Zuverlassigkeit des technischen Systems zulassen. Eine 
Anwendung ist die Bestimmung einer Trefferquote von Zugriffen 
auf einen Speicher (Cache-Hitrate) , der vornehmlich eine 
Zwischenspeicherung dient, des technischen Systems. Hier wird 

20 deutlich, daft die Ausnutzung des Zwischenspeichers (Cache) 

dann moglichst groft ist, wenn die entsprechende Trefferquote 
hoch ist, d.h. entsprechend viele Zugriffe darauf erfolgt 
sind. 

25 Eine andere Weiterbildung besteht darin, daft die Markovkette 
eine geschlossene Markovkette ist. 

Eine zus£tzliche Ausgestaltung besteht darin, daft bei den 
Multiplikationen in Gleichung (1) bereits berechnete 
30 Komponenten wiederverwendet werden. Dazu werden diese 

Komponenten vorzugsweise zwischengespeichert . Dadurch ergibt 
sich vorteilhaft eine schnellere Konvergenz des beschriebenen 
Verf ahrens . 

35 

Auch wird zur Losung der Aufgabe eine Anordnung zur 
Auswertung einer ein technisches System modellierenden 
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Markovkette angegeben, bei der eine Prozessoreinheit 
vorgesehen ist, die derart eingerichtet ist, dafc 

a) ein erster Wahrscheinlichkeitsvektor 
Wahrscheinlichkeitswerte flir vorgegebenen Bedingungen 

5 in den Zustanden der Markovkette enthalt, 

b) ein zweiter Wahrscheinlichkeitsvektor bestimmbar ist 
gemaft 

n 

io n i+ i = Zni • ? k , 

k=0 

wobei 

fti+l den zweiten Wahrscheinlichkeitsvektor, 
Ili den ersten Wahrscheinlichkeitsvektor, 

15 P die Markovkette in Matrizen-Notation, 

n eine vorgegebene natiirliche Zahl grofter 1 

bezeichnen; 

c) ein dritter Wahrscheinlichkeitsvektor bestimmbar ist 
20 gemaA 



n±+i = 



|fl i+ i • ■ 



wobei 

25 den dritten Wahrscheinlichkeitsvektor, 

j eine vorgegebene natiirliche Zahl grofter 1, 

bezeichnen. 

d) der dritte Wahrscheinlichkeitsvektor zur Auswertung 
30 der Markovkette einsetzbar ist. 

Diese Anordnung ist insbesondere geeignet zur Durchflihrung 
des erf indungsgemafcen Verfahrens oder einer seiner vorstehend 
erlauterten Weiterbildungen . 
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Ausfuhrungsbeispiele der Erfindung werden nachfolgend anhand 
der Zeichnung dargestellt und erlautert. 

5 Es zeigen 

Fig.l ein Blockdiagramm, das Schritte eines Verfahrens zur 
Auswertung einer ein technisches System 
modellierenden Markovkette enthalt; 

10 

Fig. 2 eine Skizze einer geschlossenen Markovkette; 
Fig. 3 eine Prozessoreinheit . 

15 In Fig.l ist ein Blockdiagramm gezeigt, das Schritte eines 
Verfahrens zur Auswertung einer ein technisches System 
modellierenden Markovkette enthalt. In einem Schritt 101 wird 
eine Iterationsvariable (Zahl variable) i=0 gesetzt. In einem 
Schritt 102 wird aus einem ersten Wahrscheinlichkeitsvektor 

20 Yli ein zweiter Wahrscheinlichkeitsvektor fli+i ermittelt 
gemaft Gleichung (1) . In einem Schritt 103 wird aus dem 
zweiten Wahrscheinlichkeitsvektor n^-fi ein dritter 
Wahrscheinlichkeitsvektor Tl± + i bestimmt. In einem Schritt 

104 wird Uberpruft, ob der dritte Wahrscheinlichkeitsvektor 
25 rii+i sich von dem ersten Wahrscheinlichkeitsvektor urn 

weniger als einen vorgegebenen Schwellwert e unterscheidet . 
Ist dies der Fall, so ist das Ergebnis der zuletzt ermittelte 
Wahrscheinlichkeitsvektor U± + i (vgl. Schritt 105). Ist dies 

nicht der Fall, so wird die Iterationsvariable, die 
30 gleichzeitig die Wahrscheinlichkeitsvektoren indiziert 

inkrementiert (vgl. Schritt 106) und zu Schritt 102 verzweigt 

Fig. 2 zeigt eine Skizze einer geschlossenen Markovkette. Das 
vorliegende Beispiel umfaftt drei Zustande 201, 202 und 203, 
35 wobei ein Zustandsiibergang von dem Zustand 201 in den Zustand 
202 mit einer Wahrscheinlichkeit P a , ein Obergang von dem 
Zustand 202 in den Zustand 201 mit einer Wahrscheinlichkeit 
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Pb, ein Obergang von dem Zustand 201 in den Zustand 203 mit 
einer Wahrscheinlichkeit P c und ein Obergang von dem Zustand 
203 in den Zustand 201 mit einer Wahrscheinlichkeit 
srattfindet. Notiert man die Zustande 201, 202 und 203 sowohl 
5 als Zeilen als auch als Spalten einer Matrix, so kann die 
entsprechende Vermaschung der Markovkette in diese Matrix 
ttbertragen werden, indem von Zeile zu Spalte die 
entsprechende Obergangswahrscheinlichkeit notiert wird. Im 
vorliegenden Beispiel ergibt sich fur die erste Zeile die 
10 Belegung 

[0 P a P c ] (3), 
fUr die zweite Zeile die Belegung 

15 

[ Pb 0 0 ) (4) 
und fur die dritte Zeile die Belegung 
20 [ P d 0 0 ] (5) . 

Zur Feststellung der Trefferquote bei Zwischenspeicher- 
zugriffen werden die einzelnen Einheiten des Zwischen- 
speichers in Form von Zustanden der Markovkette modelliert. 

25 Wie oft nun ein einzelner Zustand des Zwischenspeichers von 
einem Rechnersystem abgefragt wird, ist entscheidend fur die 
Effizienz und die Auslegung des Zwischenspeichers. Die 
Wahrscheinlichkeit fur einen Zugriff auf eine Komponente des 
Speichers wird in den Wahrscheinlichkeit svektor aufgenommen. 

30 Da sich die Wahrscheinlichkeit im dynamischen Ablauf des 

Gesamt systems standig andert, ist im Rahmen der vorliegenden 
Auswertung die stationare Wahrscheinlichkeitsverteilung zu 
bestimmen. Dies erfolgt mittels des oben beschriebenen 
Verf ahrens . 

35 

In Fig. 3 ist eine Prozessoreinheit PRZE dargestellt. Die 
Prozessoreinheit PRZE umfaftt einen Prozessor CPU, einen 
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Speicher SPE und eine Input /Output-Schnittstelle IOS, die 
uber ein Interface IFC auf unterschiedliche Art und Weise 
genutzt wird: Ober eine Graf ikschnittstelle wird eine Ausgabe 
auf einem Monitor MON sichtbar und/oder auf einem Drucker PRT 
5 ausgegeben. Eine Eingabe erfolgt uber eine Maus MAS oder eine 
Tastatur TAST. Auch verfugt die Prozessoreinheit PRZE tiber 
einen Datenbus BUS, der die Verbindung von einem Speicher 
MEM, dem Prozessor CPU und der Input/Output-Schnittstelle IOS 
gewahrleistet . Weiterhin sind an den Datenbus BUS zusatzliche 
10 Komponenten anschlieftbar, z.B. zusatzlicher Speicher, 
Datenspeicher (Festplatte) oder Scanner. 
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PatentansprQche 

1. Verfahren zur Auswertung einer ein technisches System 
modellierenden Markpvkette, die mehrere Zustande umfafct, 
durch einen Rechner, 

a) bei dem ein erster Wahrscheinlichkeitsvektor 
Wahrscheinlichkeitswerte fiir vorgegebenen Bedingungen 
in den Zustanden der Markovkette enthalt, 

b) bei dem ein zweiter Wahrscheinlichkeitsvektor bestimmt 
wird gemaft 

n 

n i+ i = Zni . pk # 

k = 0 



wobei 

fii+l den zweiten Wahrscheinlichkeitsvektor , 
Til ^en ersten Wahrscheinlichkeitsvektor, 

P die Markovkette in Matrizen-Notation, 

20 n eine vorgegebene naturliche Zahl grower 1 

bezeichnen; 

c) bei dem ein dritter Wahrscheinlichkeitsvektor bestimmt 
wird gemaft 



n i+1 • pj 

n i+l = E" 



wobei 

rii + i den dritten Wahrscheinlichkeitsvektor , 
30 j eine vorgegebene naturliche Zahl grofter 1, 

bezeichnen. 

d) bei dem der dritte Wahrscheinlichkeitsvektor zur 
Auswertung der Markovkette eingesetzt wird. 
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Verfahren nach Anspruch 1, 

bei dem der dritte Wahrscheinlichkeitsvektor gleich dem 
ersten Wahrscheinlichkeitsvektor gesetzt wird und die 
Schritte b) und c) iterativ durchgefiihrt werden, bis sich 
der zuletzt ergebende Wahrscheinlichkeitsvektor von dem 
vorletzten Wahrscheinlichkeitsvektor urn weniger als einen 
vorgegebenen Schwellwert unterscheiden. 

Verfahren nach einem der Anspruche 1 oder 2, 

bei dem die Auswertung der Markovkette einer stationaren 

Wahrscheinlichkeitsverteilung entspricht . 

Verfahren nach einem der vorhergehenden Anspruche, 
bei dem gemail der Auswertung der Markovkette das 
technisches System entworfen wird. 

Verfahren nach Anspruch A, 

bei dem das technische System entworfen wird, indem es 
entweder neu geschaffen oder an die Maftgabe des Entwurfs 
angepaftt wird. 

Verfahren nach einem der vorhergehenden Anspruche, 
zur Leistungsmodellierung oder Zuverlassigkeits- 
modellierung des technischen Systems. 

Verfahren nach einem der vorhergehenden Anspruche, 

zur Bestimmung einer Trefferquote bei Zwischenspeicher- 

zugriffen (Cache-Hitrate ) des technischen Systems. 

Verfahren nach einem der vorhergehenden Anspruche, 
bei dem die Markovkette eine geschlossene Markovkette 
ist . 



Anordnung zur Auswertung einer ein technisches System 
modellierenden Markovkette, die mehrere Zustande umfafit, 
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mit einer Prozessoreinheit, die derart eingerichtet ist, 
daJi. 

a) ein erster Wahrscheinlichkeitsvektor 
Wahrscheinlichkeitswerte fur vorgegebenen Bedingungen 
in den Zustanden der Markovkette enthalt, 

b) ein zweiter Wahrscheinlichkeitsvektor bestimmbar ist 
gemaft 

n 

n i+ i » Zni • pk, 

k = 0 



wobei 

ni+i den zweiten Wahrscheinlichkeitsvektor, 
15 den ersten Wahrscheinlichkeitsvektor, 

P die Markovkette in Matrizen-Notation, 

n eine vorgegebene natiirliche Zahl grower 1 

bezeichnen; 

20 c) ein dritter Wahrscheinlichkeitsvektor bestimmbar ist 

gemaft 

n±+i = iu~ ~ 



"1 

25 wobei 

den dritten Wahrscheinlichkeitsvektor, 
j eine vorgegebene naturliche Zahl grower 1, 

bezeichnen. 

30 d) der dritte Wahrscheinlichkeitsvektor zur Auswertung 

der Markovkette einsetzbar ist. 

10. Anordnung nach Anspruch 8, 

bei der die Prozessoreinheit derart eingerichtet ist, daft 
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der dritte Wahrscheinlichkeitsvektor gleich dem ersten 
Wahrscheinlichkeitsvektor gesetzt wird und die Schritte 
b) und c) iterativ durchgefuhrt werden, bis sich der 
zuletzt ergebende Wahrscheinlichkeitsvektor von dem 
5 vorletzten Wahrscheinlichkeitsvektor urn weniger als einen 

vorgegebenen Schwellwert unterscheiden . 
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